Название базовой системы (платформы): | Apache Kafka |
Разработчики: | Arenadata (Аренадата Софтвер) |
Дата последнего релиза: | 2023/11/01 |
Содержание |
Потоковая передача и обработка данных в реальном времени на базе Apache Kafka и NiFi
- Корпоративная шина обмена данными для всех приложений
- Разграничение прав доступа к потокам данных
2024
Доступность в облаке MWS
МТС, цифровая экосистема, 26 июля 2024 года сообщила о заключении стратегического партнерства между MTS Web Services (MWS), входит в группу МТС, и Arenadata. В рамках договора MWS запустил пять сервисов на программных продуктах от Arenadata, в том числе и Arenadata Streaming (ADS). Подробнее здесь.
Доступность из облака «Крок»
Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Streaming (ADS). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.
2023
Поддержка «Ред ОС»
Arenadata 1 ноября 2023 года выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку российской операционной системы РЕД ОС.
Таким образом был расширен перечень поддерживаемых ADS операционных систем, который теперь включает:
- РЕД ОС 7.3;
- CentOS 7.6.1810;
- RHEL 7.6;
- AltLinux 8.4 SP;
- Astra Linux 1.7 «Орёл» SE c Axiom JDK.
Другим важным изменением Arenadata Streaming для пользователей стала реализация шифрования параметров конфигурации NiFi, призванная повысить защищённость кластера.Цифровизация ритейла: тренды, инновации, крупнейшие ИТ-поставщики. Обзор TAdviser
Помимо этого, обновленная версия ADS включила обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью.
Для клиентов Arenadata важна возможность влиять на карту развития наших продуктов, и данный релиз Arenadata Streaming это подтверждает. Так, в ответ на пожелание одного из наших заказчиков, в NiFi был добавлен дополнительный провайдер потоков GitFlow Provider, — прокомментировал Александр Ермаков, технический директор Arenadata. |
Доступность в облаке Cloud.ru
Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.
Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.
Поддержка Astra Linux Special Edition «Орел»
Arenadata выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку операционной системы Astra Linux Special Edition (релиз «Орел»). Функционал уже доступен пользователям. Об этом компания Arenadata сообщила 10 августа 2023 года.
Совместимость с российской операционной системой Astra Linux означает, что продукт подходит для большого спектра корпоративных ИТ-инфраструктур, включая нуждающихся в повышенном уровне защищённости.
Для клиентов Arenadata важен высокий уровень информационной безопасности. И данный релиз Arenadata Streaming, получивший поддержку Astra Linux, позволит им использовать сертифицированную операционную систему. Для этого мы провели большую работу в части изменения механизмов конфигурации системы управления сервисами и компонентами под операционную систему, — прокомментировал обновление функционала ADS Александр Ермаков, технический директор Arenadata. |
Данный релиз Arenadata Streaming включил и другие изменения. Был переработан функционал управления пользователями в интерфейсе универсального оркестратора гибридного ландшафта Arenadata Cluster Manager (ADCM) и индивидуальные настройки сервисов для одного или группы хостов. А также исправлен ряд известных проблем.
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Open source технологий Apache Kafka и Apache Nifi. Продукт включает систему мониторинга и управления, поддержку расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- строить потоковые конвейеры данных в реальном времени, которые надёжно передают данные между системами или приложениями;
- разрабатывать потоковые приложения в реальном времени, преобразующие или реагирующие на потоки данных;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Помимо этого, продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
Доступность в beeline cloud
Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.
Совместимость с платформой Rubbles MLOps Suite
ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.
Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Streaming. Подробнее здесь.
Выпуск инструмента для мониторинга и управления коннекторами Apache Kafka в составе Arenadata Streaming
Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata сообщила 11 января 2023 года о выпуске на рынок инструмента для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.
Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования данного инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.
Выпуская Command Center, компания даёт возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS других версий Kafka с поддержкой KRaft, пояснил директор департамента управления продуктами Arenadata Александр Большаков.
|
Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.
Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:
- добавлять Kafka-коннекторы и управлять ими;
- отслеживать состояние кластеров Kafka Connect;
- работать с несколькими кластерами одновременно;
- гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
- работать с пользовательскими коннекторами.
Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.
В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:
- добавление LDAP/LDAPS-аутентификации;
- мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
- переназначение partitions на другие ноды;
- добавление дашбордов и графиков;
- выбор leader replica.
2022: Kerberos-авторизация для предотвращения несанкционированного доступа
24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.
Заказчик | Интегратор | Год | Проект |
---|---|---|---|
- Норильский никель, ГМК (Норникель) | Arenadata (Аренадата Софтвер) | 2024.07 | |
- Северсталь | Северсталь-Инфоком | 2024.06 | |
- Зарубежнефть | Форсайт | 2022.10 | |
- Северсталь | Северсталь-Инфоком, Arenadata (Аренадата Софтвер) | --- |